51. 数据框缺失值处理

import numpy as np
import pandas as pd

nan_value = np.nan

# NaN的比较特性
print('NaN的比较特性:')
print(f'NaN == NaN: {nan_value == nan_value}')   # False!
print(f'NaN != NaN: {nan_value != nan_value}')   # True!
print(f'NaN is NaN: {nan_value is nan_value}')   # True

# NaN的运算特性（吸收律）
print('\nNaN的运算特性:')
print(f'NaN + 100: {nan_value + 100}')   # NaN
print(f'NaN * 2: {nan_value * 2}')       # NaN

import pandas as pd
import numpy as np

# 创建包含缺失值的示例数据
data = {
    '股票代码': ['600519.SH', '000858.SZ', '600036.SH', '601318.SH', '000001.SZ'],
    '收盘价': [1850.0, np.nan, 45.2, 52.8, np.nan],
    '涨跌幅': [0.05, -0.02, np.nan, -0.01, 0.03],
    '成交量': [1200, 3500, np.nan, 5600, 2800]
}
df = pd.DataFrame(data)
print('原始数据:')
print(df)

# 每列缺失值数量
print('每列缺失值数量:')
print(df.isna().sum())

# 每列缺失值比例
print('\n每列缺失值比例(%):')
print((df.isna().sum() / len(df) * 100).round(2))

# 完整行数统计
complete = df.dropna()
print(f'\n完整行数: {len(complete)} / {len(df)}')

def missing_correlation(df):
    """计算变量间的缺失模式相关性"""
    return df.isna().corr()

miss_corr = missing_correlation(df)
print('缺失模式相关性:')
print(miss_corr.round(2))
# 相关系数接近1：两变量倾向于同时缺失

# 策略1：删除包含任何缺失值的行
df_any = df.dropna(how='any')
print('删除任何缺失值的行:')
print(df_any)

# 策略2：删除全部为缺失值的行
df_all = df.dropna(how='all')
print('\n删除全部为缺失值的行:')
print(df_all)

# 策略3：删除特定列中有缺失值的行
df_subset = df.dropna(subset=['收盘价', '涨跌幅'])
print('\n在收盘价或涨跌幅有缺失的行被删除:')
print(df_subset)

# 方法1：用0填充（适合成交量等，不适合价格）
df_zero = df.fillna(0)
print('用0填充:')
print(df_zero)

# 方法2：用均值填充
mean_price = df['收盘价'].mean()
df_mean = df.fillna({'收盘价': mean_price})
print(f'用均值填充(均值={mean_price:.2f}):')
print(df_mean)

# 方法3：用中位数填充（对异常值更稳健）
median_price = df['收盘价'].median()
df_median = df.fillna({'收盘价': median_price})
print(f'\n用中位数填充(中位数={median_price:.2f}):')
print(df_median)

# ⚠️ 平台原始代码 - 请原样输入至教学平台（注释除外），平台才会判定答案正确
import pandas as pd  # 导入Pandas数据分析库
index_bric = pd.read_excel("https://huoran.oss-cn-shenzhen.aliyuncs.com/20220820/xlsx/1560916966116974592.xlsx",sheet_name="Sheet1",header=0,index_col=0) #导入数据
print(index_bric.isnull().any())    #查找每一列是否存在缺失值（用isnull函数）

print(index_bric.isna().any())     #查找每一列是否存在缺失值（用isna函数）
print(index_bric[index_bric.isnull().values==True]) #查找存在缺失值所在的行

# ⚠️ 平台原始代码 - 请原样输入至教学平台（注释除外），平台才会判定答案正确
import pandas as pd  # 导入Pandas数据分析库
index_bric = pd.read_excel("https://huoran.oss-cn-shenzhen.aliyuncs.com/20220820/xlsx/1560916966116974592.xlsx",sheet_name="Sheet1",header=0,index_col=0) #导入数据

index_bric_dropna = index_bric.dropna()  #删除存在缺失值的行数并创建一个新的数据框
print(index_bric_dropna.isnull().any())  # 输出缺失值检查结果
print(index_bric.shape)          #查看原数据框的形状参数
print(index_bric_dropna.shape)      #查看新数据框的形状参数

# ⚠️ 平台原始代码 - 请原样输入至教学平台（注释除外），平台才会判定答案正确
import pandas as pd  # 导入Pandas数据分析库
index_bric = pd.read_excel("https://huoran.oss-cn-shenzhen.aliyuncs.com/20220820/xlsx/1560916966116974592.xlsx",sheet_name="Sheet1",header=0,index_col=0) #导入数据

index_bric_ffill = index_bric.fillna(method="ffill")   #向前补齐
print(index_bric_ffill.isnull().any())  # 输出缺失值检查结果
print(index_bric_ffill.loc["2019-06-04":"2019-06-12"])  # 输出2019-06-04

# ⚠️ 平台原始代码 - 请原样输入至教学平台（注释除外），平台才会判定答案正确
import pandas as pd  # 导入Pandas数据分析库
index_bric = pd.read_excel("https://huoran.oss-cn-shenzhen.aliyuncs.com/20220820/xlsx/1560916966116974592.xlsx",sheet_name="Sheet1",header=0,index_col=0) #导入数据

index_bric_bfill = index_bric.fillna(method="bfill")   #向后补齐
print(index_bric_bfill.isnull().any())  # 输出缺失值检查结果
print(index_bric_bfill.loc["2019-06-04":"2019-06-13"])  # 输出2019-06-04

import numpy as np
import pandas as pd

# 创建包含缺失值的时间序列数据
dates = pd.date_range('2024-01-01', periods=10)
ts_data = pd.DataFrame({
    '日期': dates,
    '价格': [10.5, np.nan, np.nan, 11.2, np.nan,
             11.8, np.nan, np.nan, 12.5, 12.8]
})

# 线性插值：在两个已知点之间画直线
ts_linear = ts_data.copy()
ts_linear['价格_线性插值'] = ts_linear['价格'].interpolate(method='linear')
print('线性插值:')
print(ts_linear)

import pandas as pd
import numpy as np

# 模拟招商银行停牌场景
dates = pd.date_range('2024-01-01', periods=10)
suspension_data = pd.DataFrame({
    '日期': dates,
    '收盘价': [10.5, 10.8, 11.0, np.nan, np.nan,
               np.nan, np.nan, np.nan, 11.5, 11.7]
})
suspension_data['是否停牌'] = suspension_data['收盘价'].isna()
print('停牌数据:')
print(suspension_data)

# 策略1：前向填充（金融分析标准方法）
df_strategy1 = suspension_data.copy()
df_strategy1['收盘价'] = df_strategy1['收盘价'].fillna(method='ffill')
print('策略1 - 前向填充:')
print(df_strategy1)

# 策略2：删除停牌行
df_strategy2 = suspension_data.dropna(subset=['收盘价'])
print('\n策略2 - 删除停牌行:')
print(df_strategy2)

import numpy as np
import pandas as pd

# 创建测试数据（带噪声的正弦波）
x = np.linspace(0, 10, 20)
y_true = np.sin(x) + np.random.normal(0, 0.1, 20)

# 人为制造缺失值
y_missing = y_true.copy()
y_missing[np.random.choice(20, 5, replace=False)] = np.nan

# 线性插值 vs 样条插值
y_linear = pd.Series(y_missing).interpolate(method='linear')
y_spline = pd.Series(y_missing).interpolate(method='cubic')

# 计算MSE
print(f'线性插值MSE: {np.mean((y_true - y_linear)**2):.4f}')
print(f'样条插值MSE: {np.mean((y_true - y_spline)**2):.4f}')